GPT (Generative Pre-trained Transformer) 란? GPT 는 그 이름에서 알 수 있듯이, Generative (생성하는) Pre-trained (사전 학습된) Transformer (트랜스포머) 이다. Transformer 란 2017년에 구글에서 제시된 기계 번역을 위한 언어 모델이다. See more
Future Mask
GPT 의 Pre-training 은 다음에 올 토큰을 예측하는 방식으로 학습되어 별다른 라벨이 필요 없는 Unsupervised Learning 이기 때문에 Input 의 Token Ids 와 Label은 매우 유사하다. GPT 에는 … See more
